<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  <title>GCN | Hexo</title>
  <meta name="keywords" content="">
  <meta name="description" content="GCN | Hexo">
    <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">
<meta name="description" content="第二章 线性表线性表：表内数据类型相同，有限序列 本章将以总结的形式展现： 2.1 顺序表与链式表的区别     顺序表 链式表     存取 随机存取 顺序存取   结构 顺序存储（连续） 随机存储（不连续）   空间分配 静态存储（可以动态分配） 动态存储   操作 查找 O(1) ,插入和删除O（n） 查找 O(n) ,插入和删除O（1）   缺点 插入删除不便，长度不可以改变 查找速度慢，">
<meta property="og:type" content="article">
<meta property="og:title" content="数据结构">
<meta property="og:url" content="http://yoursite.com/2021/03/12/%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84/index.html">
<meta property="og:site_name" content="Hexo">
<meta property="og:description" content="第二章 线性表线性表：表内数据类型相同，有限序列 本章将以总结的形式展现： 2.1 顺序表与链式表的区别     顺序表 链式表     存取 随机存取 顺序存取   结构 顺序存储（连续） 随机存储（不连续）   空间分配 静态存储（可以动态分配） 动态存储   操作 查找 O(1) ,插入和删除O（n） 查找 O(n) ,插入和删除O（1）   缺点 插入删除不便，长度不可以改变 查找速度慢，">
<meta property="og:locale" content="en_US">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/23/171951-630686.png">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/23/171844-136893.png">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/19/203103-111988.jpeg">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/23/171839-101678.jpeg">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/23/200119-510473.png">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202103/05/113954-515448.png">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/23/203146-263519.jpeg">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/19/153239-688589.png">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/19/153248-836462.png">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/19/153259-101399.png">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202103/11/113055-306258.jpeg">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/19/151817-474283.png">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/02/103950-168345.png">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/02/105245-140913.png">
<meta property="og:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/19/153313-134836.png">
<meta property="article:published_time" content="2021-03-11T16:00:00.000Z">
<meta property="article:modified_time" content="2021-03-11T07:19:09.038Z">
<meta property="article:author" content="MOLU">
<meta name="twitter:card" content="summary">
<meta name="twitter:image" content="https://gitee.com/moluggg/image/raw/master/img/202102/23/171951-630686.png">


<link rel="icon" href="/img/avatar.jpg">

<link href="/css/style.css?v=1.1.0" rel="stylesheet">

<link href="/css/hl_theme/github.css?v=1.1.0" rel="stylesheet">

<link href="//cdn.jsdelivr.net/npm/animate.css@4.1.0/animate.min.css" rel="stylesheet">

<script src="//cdn.jsdelivr.net/npm/jquery@3.5.1/dist/jquery.min.js"></script>
<script src="/js/titleTip.js?v=1.1.0" ></script>

<script src="//cdn.jsdelivr.net/npm/highlightjs@9.16.2/highlight.pack.min.js"></script>
<script>
    hljs.initHighlightingOnLoad();
</script>

<script src="//cdn.jsdelivr.net/npm/nprogress@0.2.0/nprogress.min.js"></script>



<script src="//cdn.jsdelivr.net/npm/jquery.cookie@1.4.1/jquery.cookie.min.js" ></script>

<script src="/js/iconfont.js?v=1.1.0" ></script>

<meta name="generator" content="Hexo 5.0.0"></head>
<div style="display: none">
  <input class="theme_disqus_on" value="false">
  <input class="theme_preload_comment" value="">
  <input class="theme_blog_path" value="">
  <input id="theme_shortcut" value="true" />
</div>


<body>
<aside class="nav">
    <div class="nav-left">
        <a href="/" class="avatar_target">
    <img class="avatar" src="/img/avatar.jpg" />
</a>
<div class="author">
    <span>MOLU</span>
</div>

<div class="icon">
    
        
        <a title="rss" href="/atom.xml" target="_blank">
            
                <i class="iconfont icon-rss"></i>
            
        </a>
        
    
        
        <a title="github" href="https://github.com/molu-ggg" target="_blank">
            
                <i class="iconfont icon-github"></i>
            
        </a>
        
    
        
    
        
    
        
        <a title="email" href="mailto:2572876783@qq.com" target="_blank">
            
                <i class="iconfont icon-email"></i>
            
        </a>
        
    
</div>




<ul>
    <li><div class="all active" data-rel="All">All<small>(35)</small></div></li>
    
        
            
            <li><div data-rel="AI论文">AI论文<small>(5)</small></div>
                
            </li>
            
        
    
        
            
            <li><div data-rel="专业知识">专业知识<small>(2)</small></div>
                
            </li>
            
        
    
        
            
            <li><div data-rel="数学">数学<small>(2)</small></div>
                
            </li>
            
        
    
        
            
            <li><div data-rel="机器学习">机器学习<small>(12)</small></div>
                
            </li>
            
        
    
        
            
            <li><div data-rel="经典算法">经典算法<small>(10)</small></div>
                
            </li>
            
        
    
</ul>
<div class="left-bottom">
    <div class="menus">
    
    
    
    
    </div>
    <div><a class="about  hasFriend  site_url"  href="/about">About</a><a style="width: 50%"  class="friends">Friends</a></div>
</div>
<input type="hidden" id="yelog_site_posts_number" value="35">

<div style="display: none">
    <span id="busuanzi_value_site_uv"></span>
    <span id="busuanzi_value_site_pv"></span>
</div>

    </div>
    <div class="nav-right">
        <div class="friends-area">
    <div class="friends-title">
        Links
        <i class="iconfont icon-left"></i>
    </div>
    <div class="friends-content">
        <ul>
            
            <li><a target="_blank" href="http://yelog.org/">叶落阁</a></li>
            
        </ul>
    </div>
</div>
        <div class="title-list">
    <div class="right-top">
        <div id="default-panel">
            <i class="iconfont icon-search" data-title="搜索 快捷键 i"></i>
            <div class="right-title">All</div>
            <i class="iconfont icon-file-tree" data-title="切换到大纲视图 快捷键 w"></i>
        </div>
        <div id="search-panel">
            <i class="iconfont icon-left" data-title="返回"></i>
            <input id="local-search-input" />
            <label class="border-line" for="input"></label>
            <i class="iconfont icon-case-sensitive" data-title="大小写敏感"></i>
            <i class="iconfont icon-tag" data-title="标签"></i>
        </div>
        <div id="outline-panel" style="display: none">
            <div class="right-title">大纲</div>
            <i class="iconfont icon-list" data-title="切换到文章列表"></i>
        </div>
    </div>

    <div class="tags-list">
    <input id="tag-search" />
    <div class="tag-wrapper">
        
            <li class="article-tag-list-item">
                <i class="iconfont icon-tag"></i><a>50</a>
            </li>
        
            <li class="article-tag-list-item">
                <i class="iconfont icon-tag"></i><a>AI</a>
            </li>
        
            <li class="article-tag-list-item">
                <i class="iconfont icon-tag"></i><a>数据结构，最短路径，图</a>
            </li>
        
            <li class="article-tag-list-item">
                <i class="iconfont icon-tag"></i><a>机器学习</a>
            </li>
        
            <li class="article-tag-list-item">
                <i class="iconfont icon-tag"></i><a>相似度计算</a>
            </li>
        
    </div>

</div>

    
    <div id="local-search-result">

    </div>
    
    <nav id="title-list-nav">
        
        <a id="top" class="All 经典算法 "
           href="/2020/07/20/b_leetcode/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="leetcode &amp; 蓝桥">leetcode &amp; 蓝桥</span>
            <span class="post-date" title="2020-07-20 00:00:00">2020/07/20</span>
        </a>
        
        <a id="top" class="All AI论文 "
           href="/2020/07/10/d_GAT/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="GAT">GAT</span>
            <span class="post-date" title="2020-07-10 08:50:20">2020/07/10</span>
        </a>
        
        <a  class="All 专业知识 "
           href="/2021/03/12/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%BB%84%E6%88%90%E5%8E%9F%E7%90%86/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="计算机组成原理">计算机组成原理</span>
            <span class="post-date" title="2021-03-12 00:00:00">2021/03/12</span>
        </a>
        
        <a  class="All 专业知识 "
           href="/2021/03/12/%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="数据结构">数据结构</span>
            <span class="post-date" title="2021-03-12 00:00:00">2021/03/12</span>
        </a>
        
        <a  class="All 经典算法 "
           href="/2020/12/05/b_%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%92%E4%B8%8E%E8%AE%B0%E5%BF%86%E5%8C%96%E6%90%9C%E7%B4%A2/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="动态规划记忆化">动态规划记忆化</span>
            <span class="post-date" title="2020-12-05 00:00:00">2020/12/05</span>
        </a>
        
        <a  class="All AI论文 "
           href="/2020/07/25/d_300-paperDAT/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="DAT for recommender">DAT for recommender</span>
            <span class="post-date" title="2020-07-25 08:50:20">2020/07/25</span>
        </a>
        
        <a  class="All 数学 "
           href="/2020/07/20/a_%E7%AE%97%E6%B3%95/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="算法总结">算法总结</span>
            <span class="post-date" title="2020-07-20 00:00:00">2020/07/20</span>
        </a>
        
        <a  class="All 数学 "
           href="/2020/07/20/a_%E6%95%B0%E5%AD%A6/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="数学">数学</span>
            <span class="post-date" title="2020-07-20 00:00:00">2020/07/20</span>
        </a>
        
        <a  class="All "
           href="/2020/07/05/%E5%AF%B9%E9%9A%90%E7%A7%98%E7%9A%84%E8%A7%92%E8%90%BD%E7%94%B5%E8%A7%86%E5%89%A7%E7%9A%84%E6%84%9F%E6%82%9F%E4%BB%A5%E5%8F%8A%E8%AE%A4%E8%AF%86/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="对隐秘的角落电视剧的感悟以及认识">对隐秘的角落电视剧的感悟以及认识</span>
            <span class="post-date" title="2020-07-05 00:00:00">2020/07/05</span>
        </a>
        
        <a  class="All 经典算法 "
           href="/2020/07/04/a_%E6%A8%A1%E6%9D%BF%E5%BA%93/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="模板库">模板库</span>
            <span class="post-date" title="2020-07-04 08:50:20">2020/07/04</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2020/07/04/a_%E7%99%BE%E5%BA%A6%E6%8A%80%E6%9C%AF%E8%AE%A4%E8%AF%81/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="百度技术认证">百度技术认证</span>
            <span class="post-date" title="2020-07-04 08:50:20">2020/07/04</span>
        </a>
        
        <a  class="All AI论文 "
           href="/2020/07/01/d_GCN%E8%AE%BA%E6%96%87%E8%A7%A3%E8%AF%BB/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="GCN">GCN</span>
            <span class="post-date" title="2020-07-01 08:50:20">2020/07/01</span>
        </a>
        
        <a  class="All AI论文 "
           href="/2020/06/04/d_word2vec_node2vec/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="Word2vec &amp; Node2vec">Word2vec &amp; Node2vec</span>
            <span class="post-date" title="2020-06-04 08:50:20">2020/06/04</span>
        </a>
        
        <a  class="All AI论文 "
           href="/2020/05/05/d_GAN/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="GAN">GAN</span>
            <span class="post-date" title="2020-05-05 08:50:20">2020/05/05</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2020/05/04/d_Deepwalk/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="DEEPWALK">DEEPWALK</span>
            <span class="post-date" title="2020-05-04 08:50:20">2020/05/04</span>
        </a>
        
        <a  class="All 经典算法 "
           href="/2020/02/15/b_%E8%B4%AA%E5%BF%83/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="贪心与动态规划">贪心与动态规划</span>
            <span class="post-date" title="2020-02-15 00:00:00">2020/02/15</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2020/02/12/a_2020/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="机器学习零散知识记录">机器学习零散知识记录</span>
            <span class="post-date" title="2020-02-12 00:00:00">2020/02/12</span>
        </a>
        
        <a  class="All 经典算法 "
           href="/2020/02/12/b_%E8%83%8C%E5%8C%85%E9%97%AE%E9%A2%98/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="动态规划——背包问题">动态规划——背包问题</span>
            <span class="post-date" title="2020-02-12 00:00:00">2020/02/12</span>
        </a>
        
        <a  class="All 经典算法 "
           href="/2020/02/03/b_%E8%93%9D%E6%A1%A5%E6%9D%AF%E7%BB%83%E4%B9%A0%E9%A2%98/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="蓝桥杯">蓝桥杯</span>
            <span class="post-date" title="2020-02-03 00:00:00">2020/02/03</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2020/01/20/c_%E5%86%B3%E7%AD%96%E6%A0%91/"
           data-tag="50"
           data-author="" >
            <span class="post-title" title="决策树总结">决策树总结</span>
            <span class="post-date" title="2020-01-20 00:00:00">2020/01/20</span>
        </a>
        
        <a  class="All 经典算法 "
           href="/2020/01/12/b_%E5%85%A8%E6%8E%92%E5%88%97/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="全排列">全排列</span>
            <span class="post-date" title="2020-01-12 00:00:00">2020/01/12</span>
        </a>
        
        <a  class="All 经典算法 "
           href="/2019/12/02/b_%E6%9C%89%E7%A9%B7%E8%87%AA%E5%8A%A8%E6%9C%BA/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="有穷自动机">有穷自动机</span>
            <span class="post-date" title="2019-12-02 00:00:00">2019/12/02</span>
        </a>
        
        <a  class="All 经典算法 "
           href="/2019/11/20/b_%E9%94%99%E6%8E%92%E5%85%AC%E5%BC%8F/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="错排公式">错排公式</span>
            <span class="post-date" title="2019-11-20 00:00:00">2019/11/20</span>
        </a>
        
        <a  class="All "
           href="/2019/10/29/a_%E5%BC%97%E6%B4%9B%E4%BC%8A%E5%BE%B7/"
           data-tag="数据结构，最短路径，图"
           data-author="" >
            <span class="post-title" title="最短路径之弗洛伊德算法">最短路径之弗洛伊德算法</span>
            <span class="post-date" title="2019-10-29 00:00:00">2019/10/29</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2019/08/04/c_BPR/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="贝叶斯">贝叶斯</span>
            <span class="post-date" title="2019-08-04 08:50:20">2019/08/04</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2019/08/02/c_matrix/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="矩阵分解与正则化">矩阵分解与正则化</span>
            <span class="post-date" title="2019-08-02 08:25:59">2019/08/02</span>
        </a>
        
        <a  class="All "
           href="/2019/07/28/c_coordination1/"
           data-tag="AI,机器学习,相似度计算"
           data-author="" >
            <span class="post-title" title="协同过滤-上">协同过滤-上</span>
            <span class="post-date" title="2019-07-28 08:25:59">2019/07/28</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2019/07/26/c_cnn/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="cnn">cnn</span>
            <span class="post-date" title="2019-07-26 18:54:51">2019/07/26</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2019/07/22/c_coordination2/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="协同过滤—下">协同过滤—下</span>
            <span class="post-date" title="2019-07-22 18:54:26">2019/07/22</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2019/07/22/c_kmeans/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="K-means算法">K-means算法</span>
            <span class="post-date" title="2019-07-22 18:53:07">2019/07/22</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2019/07/21/c_nerve2/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="神经网络-下">神经网络-下</span>
            <span class="post-date" title="2019-07-21 11:37:18">2019/07/21</span>
        </a>
        
        <a  class="All "
           href="/2019/07/20/c_nerve1/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="神经网络—上">神经网络—上</span>
            <span class="post-date" title="2019-07-20 17:29:10">2019/07/20</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2019/06/22/c_gradient/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="线性回归与梯度下降算法">线性回归与梯度下降算法</span>
            <span class="post-date" title="2019-06-22 08:26:36">2019/06/22</span>
        </a>
        
        <a  class="All 机器学习 "
           href="/2019/06/19/c_flyback/"
           data-tag="AI,机器学习"
           data-author="" >
            <span class="post-title" title="线性回归">线性回归</span>
            <span class="post-date" title="2019-06-19 00:00:00">2019/06/19</span>
        </a>
        
        <a  class="All 经典算法 "
           href="/2019/05/20/b_%E8%A7%86%E9%A2%91%E7%BB%8F%E5%85%B8%E7%AE%97%E6%B3%95/"
           data-tag=""
           data-author="" >
            <span class="post-title" title="简单入门算法">简单入门算法</span>
            <span class="post-date" title="2019-05-20 00:00:00">2019/05/20</span>
        </a>
        
        <div id="no-item-tips">

        </div>
    </nav>
    <div id="outline-list">
    </div>
</div>
    </div>
    <div class="hide-list">
        <div class="semicircle" data-title="切换全屏 快捷键 s">
            <div class="brackets first"><</div>
            <div class="brackets">&gt;</div>
        </div>
    </div>
</aside>
<div id="post">
    <div class="pjax">
        <article id="post-d_GCN论文解读" class="article article-type-post" itemscope itemprop="blogPost">
    
        <h1 class="article-title">GCN</h1>
    
    <div class="article-meta">
        
        
        
        <span class="book">
            <i class="iconfont icon-category"></i>
            
            
            <a  data-rel="AI论文">AI论文</a>
            
        </span>
        
        
    </div>
    <div class="article-meta">
        
            Created At : <time class="date" title='Updated At: 2020-08-09 14:28:07'>2020-07-01 08:50</time>
        
    </div>
    <div class="article-meta">
        
        
        <span id="busuanzi_container_page_pv">
            Views 👀 :<span id="busuanzi_value_page_pv">
                <span class="count-comment">
                    <span class="spinner">
                      <div class="cube1"></div>
                      <div class="cube2"></div>
                    </span>
                </span>
            </span>
        </span>
        
        
    </div>
    
    <div class="toc-ref">
    
        <ol class="toc"><li class="toc-item toc-level-1"><a class="toc-link" href="#SEMI-SUPERVISED-CLASSIFICATION-WITH-GRAPH-CONVOLUTIONAL-NETWORKS"><span class="toc-text">SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS</span></a><ol class="toc-child"><li class="toc-item toc-level-2"><a class="toc-link" href="#a-%E6%A0%B8%E5%BF%83%E5%86%85%E5%AE%B9%EF%BC%9A"><span class="toc-text">:a: 核心内容：</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E8%AE%BA%E6%96%87%E7%9A%84%E5%85%B7%E4%BD%93%E5%86%85%E5%AE%B9%E6%A6%82%E5%86%B5%EF%BC%9A"><span class="toc-text">论文的具体内容概况：</span></a><ol class="toc-child"><li class="toc-item toc-level-3"><a class="toc-link" href="#%E6%80%BB%E4%BD%93%E4%BB%8B%E7%BB%8D%EF%BC%9A"><span class="toc-text">总体介绍：</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#%E6%80%9D%E6%83%B3%E4%BB%8B%E7%BB%8D%EF%BC%9A"><span class="toc-text">思想介绍：</span></a></li></ol></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E4%B8%BE%E4%BE%8B%E5%AD%90%EF%BC%9A"><span class="toc-text">举例子：</span></a></li></ol></li><li class="toc-item toc-level-1"><a class="toc-link" href="#%E3%80%90%E8%AE%BA%E6%96%87%E9%98%85%E8%AF%BB%E3%80%91%E2%80%94%E2%80%94-Explaining-and-Harnessing-Adversarial-Examples"><span class="toc-text">【论文阅读】—— Explaining and Harnessing Adversarial Examples</span></a><ol class="toc-child"><li class="toc-item toc-level-2"><a class="toc-link" href="#%E6%A0%B8%E5%BF%83%E5%86%85%E5%AE%B9%EF%BC%9A"><span class="toc-text">核心内容：</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E4%BB%80%E4%B9%88%E6%98%AF%E5%AF%B9%E6%8A%97%E6%A0%B7%E6%9C%AC%EF%BC%9F"><span class="toc-text">什么是对抗样本？</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E5%AF%B9%E6%8A%97%E6%A0%B7%E6%9C%AC%E5%AD%98%E5%9C%A8%E7%9A%84%E5%8E%9F%E5%9B%A0%EF%BC%9A"><span class="toc-text">对抗样本存在的原因：</span></a><ol class="toc-child"><li class="toc-item toc-level-3"><a class="toc-link" href="#Fast-Gradient-Sign-Method-FGSM"><span class="toc-text">Fast Gradient Sign Method(FGSM)</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#%E4%B8%80%E4%BA%9B%E7%9B%B4%E8%A7%89"><span class="toc-text">一些直觉</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#%E5%AF%B9%E6%8A%97%E8%AE%AD%E7%BB%83"><span class="toc-text">对抗训练</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#a-%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%AF%B9%E6%8A%97%E8%AE%AD%E7%BB%83"><span class="toc-text">:a: 线性模型的对抗训练</span></a></li></ol></li></ol></li><li class="toc-item toc-level-1"><a class="toc-link" href="#Node2vec%EF%BC%8CDeepwalk"><span class="toc-text">Node2vec，Deepwalk</span></a></li></ol>
    
<style>
    .left-col .switch-btn,
    .left-col .switch-area {
        display: none;
    }
    .toc-level-4 i,
    .toc-level-4 ol {
        display: none !important;
    }
</style>
</div>
    
    <div class="article-entry" itemprop="articleBody">
      
        <p><a target="_blank" rel="noopener" href="https://cyent.github.io/markdown-with-mkdocs-material/">https://cyent.github.io/markdown-with-mkdocs-material/</a></p>
<p>GCN原始论文解读</p>
<h1 id="SEMI-SUPERVISED-CLASSIFICATION-WITH-GRAPH-CONVOLUTIONAL-NETWORKS"><a href="#SEMI-SUPERVISED-CLASSIFICATION-WITH-GRAPH-CONVOLUTIONAL-NETWORKS" class="headerlink" title="SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS"></a>SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS</h1><h2 id="a-核心内容："><a href="#a-核心内容：" class="headerlink" title=":a: 核心内容："></a>:a: 核心内容：</h2><p><a target="_blank" rel="noopener" href="https://zhuanlan.zhihu.com/p/89503068">https://zhuanlan.zhihu.com/p/89503068</a></p>
<p><a target="_blank" rel="noopener" href="https://www.zhihu.com/question/54504471/answer/332657604">https://www.zhihu.com/question/54504471/answer/332657604</a></p>
<p><a target="_blank" rel="noopener" href="https://zhuanlan.zhihu.com/p/107162772">https://zhuanlan.zhihu.com/p/107162772</a></p>
<p><img src="https://gitee.com/moluggg/image/raw/master/img/202007/17/112217-971467.png" alt="{26E56A54-2E89-4C02-A420-AC16EDE4D212}"></p>
<p>其中，公式表示为：</p>
<p>$H^{(l+1)}=\sigma\left(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)}\right)$</p>
<h2 id="论文的具体内容概况："><a href="#论文的具体内容概况：" class="headerlink" title="论文的具体内容概况："></a>论文的具体内容概况：</h2><h3 id="总体介绍："><a href="#总体介绍：" class="headerlink" title="总体介绍："></a>总体介绍：</h3><p>在该篇论文中，作者提出了一种可扩展式的半监督学习卷积神经网络方法处理基于图结构的数据。论文中作者所提出的方法应用的是关于图结构数据中的聚类问题。通过图结构数据中部分有标签的节点数据对卷积神经网络结构模型训练，使网络模型对其余无标签的数据进行进一步分类，从而实现作者所提出的半监督学习方法。作者所提出的半监督分类图形卷积网络是在先前的频谱卷积网络的基础上通过局部一阶近似</p>
<h3 id="思想介绍："><a href="#思想介绍：" class="headerlink" title="思想介绍："></a>思想介绍：</h3><p>1.前人工作及存在的问题</p>
<p>对于图形数据结构中的节点半监督学习分类问题，(Zhu et al., 2003; Zhou et al., 2004; Belkin et al., 2006; Weston et al., 2012)等人在处理该问题时借助基于图的正则化形式将标签信息与图结构数据平滑的结合，其具体操作是在代价函数中加入图形化的拉普拉斯正则项如下式（1）所示：</p>
<script type="math/tex; mode=display">
\mathcal{L}=\mathcal{L}_{0}+\lambda \mathcal{L}_{\mathrm{reg}}, \quad \text { with } \quad \mathcal{L}_{\mathrm{reg}}=\sum_{i, j} A_{i j}\left\|f\left(X_{i}\right)-f\left(X_{j}\right)\right\|^{2}=f(X)^{\top} \Delta f(X)</script><p>公式（1）的意义：</p>
<p>:x: 处理该问题时借助基于图的正则化形式将标签信息与图结构数据平滑的结合，其具体操作是在代价函数中加入图形化的拉普拉斯正则项</p>
<p>式（1）中各个变量的含义：</p>
<p>L0表示图结构中有标签的部分数据的监督代价<strong>，</strong></p>
<p><strong>f(·)是一个神经网络的梯度函数</strong>，λ是权值系数，</p>
<p>:100: <strong>X是图结构中的节点特征向量Xi拼接得到的矩阵形式</strong>，</p>
<p><img src="https://gitee.com/moluggg/image/raw/master/img/202007/17/164913-506756.png" alt="image-20200717164912783"></p>
<p>A代表图结构数据的邻接矩阵（01二进制或者权值），</p>
<p>Dii表示邻接矩阵Aij对j所有项求和，如下图可以明白</p>
<p><strong>△=D-A表示无向图</strong>G=（V,ε）（V表示图中的N个节点集合，ε表示各个节点之间的边关系）的非标准图结构的拉普拉斯算子，如下图，<strong>也就是L</strong>。</p>
<p>公式（1）的局限性：</p>
<p>在于<strong>它依赖于图中的相连节点倾向性的有着相同坐标这个假设，而实际情况下，图中的边可能并不一定能够反应出节点之间的相似性而可能是一些其他的信息，因此这个假设可能会限制模型的效果。</strong></p>
<p><img src="https://gitee.com/moluggg/image/raw/master/img/202007/17/090704-471076.png" alt="image-20200717090702851"></p>
<p>2.改进之处</p>
<p>主要内容：</p>
<p>:100: 在本工作中，我们直接使用神经网络模型f(X，A)对图形结构进行<strong>编码</strong>，(编码是什么意思)</p>
<p>并对所有带有标签的节点进行有监督目标L0的训练， 从而避免了损失函数中基于图的显式正则化。在图的邻接矩阵上条件f（·）将允许模型从监督损失L0中分配梯度信息，并使其能够学习节点有标签和没有标签的结点的表示。</p>
<p>作者的该篇论文贡献有两点：</p>
<p>1、作者对于直接操作于图结构数据的网络模型根据频谱图卷积(Hammond等人于2011年提出的)使用一阶近似简化计算的方法，提出了一种简单有效的层式传播方法。</p>
<p>2.作者验证了图结构神经网络模型可用于快速可扩展式的处理图数据中节点半监督分类问题，作者通过在一些公有数据集上验证了自己的方法的效率和准确率能够媲美现有的顶级半监督方法；</p>
<p> 图上的快速近似卷积</p>
<p>在这里作者定义了$f(X,A)$的表示：</p>
<script type="math/tex; mode=display">
H^{(l+1)}=\sigma\left(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)}\right)</script><p>3.技术思路介绍</p>
<p>由于作者的方法是基于<strong>频谱图形卷积</strong>进行改进提出的，因此先介绍频谱图形卷积，基于图形数据操作的频谱卷积被定义为信号输入量x与经过傅里叶域参数化的滤波器gθ=diag（θ）进行相乘操作，其运算公式如下所示：</p>
<script type="math/tex; mode=display">
g_{\theta} \star x=U g_{\theta} U^{\top} x</script><p><strong>式中U代表归一化图形拉普拉斯算子$L=I_{N}-D-1/2AD-1/2=UΛU^{T}$的特征向量的矩阵的解</strong>？</p>
<p>$U^{T}x$是x的图形傅里叶变换，</p>
<p>作者提出将gθ理解为为L特征值的一个函数即$gθ(Λ)$，</p>
<p>Λ是它的特征值对角矩阵，</p>
<p>由于频谱卷积所提出的公式（3）计算开<strong>销过于庞大</strong>，特征向量矩阵U的相乘运算时间复杂度是N的平方，此外，L的特征分解运算开销在处理数据量大的图结构时也很大，为了解决这个问题，2011年Hammond等人提出gθ(Λ)可以通过一个切比雪夫多项式Tk(x)的截断展开为第K阶：</p>
<blockquote>
<p>:100:作者提出将gθ理解为为L特征值的一个函数即$gθ(Λ)$，这句话怎么理解</p>
</blockquote>
<script type="math/tex; mode=display">
g_{\theta^{\prime}}(\Lambda) \approx \sum_{k=0}^{K} \theta_{k}^{\prime} T_{k}(\tilde{\Lambda})</script><p>式中$\tilde{\Lambda}=\frac{2}{\lambda_{\max }} \Lambda-I_{N}$，λmax表示L的最大特征值，θ’是一个切比雪夫系数的向量，切比雪夫多项式是被递归的定义为$T_{k}(x)= 2 x T_{k-1}(x)-T_{k-2}(x), \text { with } T_{0}(x)=1 \text { and } T_{1}(x)=x$</p>
<p>将上述操作代入到式(4)中则可得：</p>
<script type="math/tex; mode=display">
g_{\theta^{\prime}} \star x \approx \sum_{k=0}^{K} \theta_{k}^{\prime} T_{k}(\tilde{L}) x</script><p>:100: $L=UΛU^{T}$  请注意，这个表达式现在是K局部化的，因为它是Laplacian中的一个K阶多项式，</p>
<p>式中L运算过程与(4)中Λ一致，这个表达式现在是K的范围内了。因为gθ被约等于拉普拉斯算子中的一个K阶多项式了，运算过程只和卷积位置的节点K步（边长）范围内的点有关，式(4)的计算复杂度则变成了O(|ε|)</p>
<p>接着上述的工作，作者提出了<strong>层状线性模型</strong>，首先，作者将每层的卷积运算按式(5)来操作并将K设为1，这样就得到了在图形化拉普拉斯频谱上的一个线性函数，借助这种线性运算方式，作者仍然可以通过堆叠多个这样的卷积层运算来恢复卷积滤波函数的表达能力，而且作者摆脱了受限于切比雪夫不等式进行显式化参数设置的限制。作者直观的觉得他的这个模型能够通过较宽的节点分布来减轻分类问题中节点邻近区域结构的过拟合问题，此外。从运算开销来看，将K设置为1得到的层状线性运算也能够进一步构建更深的网络模型（例如运用何凯明提出残差结构构筑更深的图形化卷积网络模型）</p>
<p>在上面提到的将K设为1的图形化卷积的线性运算基础上，由于作者期望神经网络模型中的参数能够适应训练过程中的变化，作者进一步近似的令λmax约等于2，式(4)在这个改变下进一步简化为：</p>
<script type="math/tex; mode=display">
g_{\theta^{\prime}} \star x \approx \theta_{0}^{\prime} x+\theta_{1}^{\prime}\left(L-I_{N}\right) x=\theta_{0}^{\prime} x-\theta_{1}^{\prime} D^{-\frac{1}{2}} A D^{-\frac{1}{2}} x</script><p>式中有两个自定义系数Θ’0和Θ’1，由于是卷积神经网络，滤波器参数对整幅图操作时遵循<strong>权值共享</strong>原则，连续地运用这种滤波器操作能够高效的卷积各个节点的k阶（k阶指的是第k层卷积层）相邻区域。通常来说，限制参数的数量可以进一步解决过拟合并将各层的运算量最小化，因此，基于这个思想可进一步将Θ’0和-Θ’1都等价于θ简化式（5）得到下面的表达式:</p>
<script type="math/tex; mode=display">
g_{\theta} \star x \approx \theta\left(I_{N}+D^{-\frac{1}{2}} A D^{-\frac{1}{2}}\right) x</script><p>式中$I_{N}+D^{-\frac{1}{2}} A D^{-\frac{1}{2}}$计算过程使得特征值处于[0,2]之间，在不断地进行$D^{-\frac{1}{2}} A D^{-\frac{1}{2}}$网络层叠加操作的过程中这样的运算可能会导致<strong>数值不稳定产生梯度爆炸/消失的结果</strong>，为了减轻这个问题，作者进一步引进再归一的技巧：$I_{N}+D^{-\frac{1}{2}} A D^{-\frac{1}{2}} \rightarrow \tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}}$，其中，$\tilde{A}=A+I_{N}$且，借$\tilde{D}_{i i}=\sum_{j} \tilde{A}_{i j}$<strong>助该改进作者将该定义泛化到一个有C个输入通道的输入量（或者图数据中每个节点都是C维的特征向量）与F个滤波器运算定义如下：</strong></p>
<script type="math/tex; mode=display">
Z=\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} X \Theta</script><p>式中θ是滤波器参数的矩阵形式，Z是卷积后得到的输出矩阵，整个卷积操作时间复杂度为<img src="https://img-blog.csdn.net/20171225222135135" alt="img">。</p>
<h2 id="举例子："><a href="#举例子：" class="headerlink" title="举例子："></a>举例子：</h2><p>:100: 这幅图并没有看的太懂：</p>
<p><img src="https://gitee.com/moluggg/image/raw/master/img/202007/17/104307-306832.png" alt="image-20200717104307145"></p>
<p>图1：左：多层图卷积网络(GCN)的原理图描述，用于输出层中具有C输入通道和F特征映射的半监督学习。 图结构(边为黑线的)在层上共享，标签由易表示。 </p>
<p>右：t-SNE(Maaten&amp;Hinton，2008)在Cora数据集上训练的两层GCN的隐藏层激活的可视化（Sen等人，2008年）使用5%的标签。 颜色文档类。</p>
<p>在这里，$W^{0}∈R^{C×H}$是具有H特征映射的隐藏层的输入到隐藏权重矩阵。 式中$W^{1}∈R^{H×F}$隐输出权重矩阵。 定义为softmax(Xi)的softmax激活函数) $\operatorname{softmax}\left(x_{i}\right)=\frac{1}{\mathcal{Z}} \exp \left(x_{i}\right) \text { with } \mathcal{Z}=\sum_{i} \exp \left(x_{i}\right)$，逐行应用。 对于半监督多类分类，我们然后评估交叉熵误差函数：</p>
<script type="math/tex; mode=display">
\mathcal{L}=-\sum_{l \in \mathcal{Y}_{L}} \sum_{f=1}^{F} Y_{l f} \ln Z_{l f}</script><p><strong>在真实场景下的应用</strong></p>
<p>最后，我们将图卷积网络应用到一个真实的图上。本文将向读者展示如何生成上文提到的特征表征。</p>
<p><strong>Zachary 空手道俱乐部</strong></p>
<p>Zachary 空手道俱乐部是一个被广泛使用的社交网络，其中的节点代表空手道俱乐部的成员，边代表成员之间的相互关系。当年，Zachary 在研究空手道俱乐部的时候，管理员和教员发生了冲突，导致俱乐部一分为二。下图显示了该网络的图表征，其中的节点标注是根据节点属于俱乐部的哪个部分而得到的，「A」和「I」分别表示属于管理员和教员阵营的节点。</p>
<p>空手道数据集为下面的链接：</p>
<p><a target="_blank" rel="noopener" href="https://blog.csdn.net/ksearch/article/details/44412005">https://blog.csdn.net/ksearch/article/details/44412005</a></p>
<p><img src="https://gitee.com/moluggg/image/raw/master/img/202007/18/100814-871502.webp" alt="img"></p>
<p><strong>构建 GCN</strong></p>
<p>接下来，我们将构建一个图卷积网络。我们并不会真正训练该网络，但是会对其进行简单的随机初始化，从而生成我们在本文开头看到的特征表征。我们将使用 networkx，它有一个可以很容易实现的 Zachary 空手道俱乐部的图表征。然后，我们将计算 A_hat 和 D_hat 矩阵。</p>
<pre><code>from networkx import to_numpy_matrix
zkc = karate_club_graph()
order = sorted(list(zkc.nodes()))
A = to_numpy_matrix(zkc, nodelist=order)
I = np.eye(zkc.number_of_nodes())
A_hat = A + I
D_hat = np.array(np.sum(A_hat, axis=0))[0]
D_hat = np.matrix(np.diag(D_hat))
</code></pre><p>接下来，我们将随机初始化权重。</p>
<pre><code>W_1 = np.random.normal(
    loc=0, scale=1, size=(zkc.number_of_nodes(), 4))
W_2 = np.random.normal(
    loc=0, size=(W_1.shape[1], 2))
</code></pre><p>接着，我们会堆叠 GCN 层。这里，我们只使用单位矩阵作为特征表征，即每个节点被表示为一个 one-hot 编码的类别变量。</p>
<pre><code>def gcn_layer(A_hat, D_hat, X, W):
    return relu(D_hat**-1 * A_hat * X * W)
H_1 = gcn_layer(A_hat, D_hat, I, W_1)
H_2 = gcn_layer(A_hat, D_hat, H_1, W_2)
output = H_2
</code></pre><p>我们进一步抽取出特征表征。</p>
<pre><code>feature_representations = &amp;#123;
    node: np.array(output)[node] 
    for node in zkc.nodes()&amp;#125;
</code></pre><p>你看，这样的特征表征可以很好地将 Zachary 空手道俱乐部的两个社区划分开来。至此，我们甚至都没有开始训练模型！</p>
<p><img src="https://gitee.com/moluggg/image/raw/master/img/202007/17/113757-601303.webp" alt="img"></p>
<p><em>Zachary 空手道俱乐部图网络中节点的特征表征。</em></p>
<p>我们应该注意到，在该示例中由于 ReLU 函数的作用，在 x 轴或 y 轴上随机初始化的权重很可能为 0，因此需要反复进行几次随机初始化才能生成上面的图。</p>
<h1 id="【论文阅读】——-Explaining-and-Harnessing-Adversarial-Examples"><a href="#【论文阅读】——-Explaining-and-Harnessing-Adversarial-Examples" class="headerlink" title="【论文阅读】—— Explaining and Harnessing Adversarial Examples"></a>【论文阅读】—— Explaining and Harnessing Adversarial Examples</h1><h2 id="核心内容："><a href="#核心内容：" class="headerlink" title="核心内容："></a>核心内容：</h2><p>原样本点上加上一些针对性的但是不易察觉的扰动，就会很容易的将神经网络分类错误，并且可能以很高的置信度输出</p>
<h2 id="什么是对抗样本？"><a href="#什么是对抗样本？" class="headerlink" title="什么是对抗样本？"></a>什么是对抗样本？</h2><p>:a:      下面一个例子说明，一张原始图片，加上一点扰动就会分类错误</p>
<p>深度学习的发展使得机器在很多任务上都达到了接近人类的准确率，但是 Szegedy 等人在 “Intriguing properties of neural network” 中首次发现了这些深度网络的flaw并提出了对抗样本<strong>，对抗样本指的是将一些特定的扰动（perturbation）加到clean example上，使得模型对这些样本的分类结果发生错误</strong>，需要注意的是，这些扰动通常来说非常地小，即人类无法察觉，从下面的例子中就可以看出对抗样本是如何得到的。将一些扰动加到原图像上，分类器就会马上分类错误。</p>
<p><img src="https://gitee.com/moluggg/image/raw/master/img/202007/15/090250-458196.png" alt="image-20200715090237850"></p>
<h2 id="对抗样本存在的原因："><a href="#对抗样本存在的原因：" class="headerlink" title="对抗样本存在的原因："></a>对抗样本存在的原因：</h2><ul>
<li><p>过拟合导致？不是！</p>
<ul>
<li><p>对抗样本刚被发现的时候，研究者都认为是模型参数过多，模型过度拟合训练集所致。</p>
</li>
<li><p>如果对抗样本真的是过拟合导致，那么对抗样本的出现就不会是unique的，当我们重新训练模型，应该会随机出现其它的分类错误的“对抗样本”。但是实际上发现不同的模型会对同一个对抗样本错误分类（这种叫做对抗样本的transferability），并且如果把对抗样本和原来的样本作差，然后将差加到任何的一个clean example上，这个样本马上会变成对抗样本。</p>
</li>
<li><p>所以，这些发现也表明了<strong>对抗样本不可能是过拟合所致</strong>。</p>
</li>
</ul>
</li>
</ul>
<ul>
<li><p><strong>模型的线性性导致！</strong></p>
<p>:a: <strong>$score=wTx$。由于 $x~=x+ηx~=x+η$，则 $score=wTx+wTη$，可以看出当样本改变 η 时，activation值就会改变 wTη</strong></p>
<p>:100: <strong>假设 w 有 n 个维度，且平均值为 m，那么activation的增量最多为 ϵmn。由于 ||η||∞ 不会随着维度 n 的变化而变化，但是增量却会随着 n 增大而线性增长，因此对于一个高维度的问题，一个样本中即使是无限小的扰动，也会叠加对最后的activation产生很大的影响</strong></p>
<p>这句话的w是一个n维度的向量，比如，如果w是一个三维向量，就是：$(x,y,z)$ </p>
<p>这里假设$(x+y+z)/3 =m$,因此随着w的维度增加，m若不变，ϵmn会增大。</p>
<p><strong>因此：对抗样本发生的原因：深度学习模型的高度线性性质，导致通过线性模型参数的点乘累积放大输入图像像素值的微小改变。</strong></p>
<ul>
<li><p>Ian Goodfellow 在2014年发表了 “explaining and harnessing adversarial example” 这篇文章，并说明对抗样本的存在是由于模型过于线性所致。</p>
</li>
<li><p>神经网络似乎自诞生以来就和非线性挂钩，激活函数非线性，那么为什么深度网络还是会有对抗样本呢？Ian Goodfellow 认为现在绝大多数的激活函数都是 piecewise linear，Relu函数是分段线性的，sigmoid 和 tanh在我们care的部分也近似线性。</p>
</li>
<li><p>下图表明线性模型导致对抗样本的出现，在clean example的领域内找到某一个点，它跨过了决策面被分类错误，但如果是非线性的决策面，这种情况就不会发生。</p>
<p><img src="http://vincentho.name/2018/11/26/%E3%80%90%E8%AE%BA%E6%96%87%E9%98%85%E8%AF%BB%E3%80%91%E2%80%94%E2%80%94-Explaining-and-Harnessing-Adversarial-Examples/2.png" alt="img"></p>
</li>
<li><p>而也有猜想说，对抗样本的存在是因为决策面距离样本点太近所致。</p>
</li>
</ul>
</li>
</ul>
<h3 id="Fast-Gradient-Sign-Method-FGSM"><a href="#Fast-Gradient-Sign-Method-FGSM" class="headerlink" title="Fast Gradient Sign Method(FGSM)"></a>Fast Gradient Sign Method(FGSM)</h3><p>Ian Goodfellow 根据模型的线性性，提出一种产生对抗样本的方法，通过计算模型对输入的梯度的符号作为输入的扰动值。</p>
<script type="math/tex; mode=display">
η=ϵsign(▽xJ(θ,x,y))\\

x=x+η</script><p>:a:我们平常用的梯度下降方法是通过求损失函数对于模型参数的梯度，进而更新参数使得模型的损失降低。<strong>而 FGSM 方法求模型损失函数对于输入的梯度，然后用梯度上升的方法，使得模型的损失增大。模型的损失增大意味着模型对于该输入样本的分类置信度降低，或者直接分类错误，从而达到对抗样本的目的。</strong></p>
<p>Note：我们可以随意地将输入样本往任一错误类别上改变。比如输入图片是猫，我们可以求损失函数对于狗的梯度，然后将它作为 reference direction来更新猫的图片，就可以将猫往狗的方向改变。</p>
<h3 id="一些直觉"><a href="#一些直觉" class="headerlink" title="一些直觉"></a>一些直觉</h3><p><strong>抗样本的存在是否偶然</strong></p>
<p>Ian Goodfellow认为对抗样本的存在并非偶然，并非像有理数分布到实数上的这种程度，而是对抗样本更像是存在于某一个对抗子空间</p>
<p><strong>Are adversarial examples off the manifold</strong></p>
<p>manifold 简单解释即数据存在的区域，通常我们说 manifold是高维空间里面的一个低维空间，比如公路是三维空间里面的一维空间；</p>
<p><a target="_blank" rel="noopener" href="http://vincentho.name/2018/11/26/【论文阅读】——-Explaining-and-Harnessing-Adversarial-Examples/3.png"><img src="http://vincentho.name/2018/11/26/%E3%80%90%E8%AE%BA%E6%96%87%E9%98%85%E8%AF%BB%E3%80%91%E2%80%94%E2%80%94-Explaining-and-Harnessing-Adversarial-Examples/3.png" alt="img"></a></p>
<p>而对抗样本不属于数据的manifold，可以理解为非自然点，即不在正常数据的分布内。有人理解对抗样本的存在是因为训练数据不够大没有覆盖到对抗样本，才导致模型欠拟合出现分类错误，但<strong>实际上对抗样本不属于正常数据，即使我们的训练数据有无穷多，也不可能包含对抗样本，因为对抗样本不在正常数据的分布内。</strong></p>
<h3 id="对抗训练"><a href="#对抗训练" class="headerlink" title="对抗训练"></a>对抗训练</h3><p>这是基于 Ian Goodfellow 论文中提到的方法</p>
<h3 id="a-线性模型的对抗训练"><a href="#a-线性模型的对抗训练" class="headerlink" title=":a: 线性模型的对抗训练"></a>:a: 线性模型的对抗训练</h3><p>首先将分类标签两类{-1,1}通过 $(1+y)/2$ 映射到 {0,1）两类，</p>
<p>所以现在的分类标签是由$y ——&gt; (1+y)/2$</p>
<p>通过交叉熵的损失函数定义：</p>
<p><img src="https://gitee.com/moluggg/image/raw/master/img/202007/16/200703-603565.png" alt="image-20200716200702600"></p>
<p>可以得到该模型的损失函数：</p>
<script type="math/tex; mode=display">
J=-\frac{1+y}{2} \log P(y=1 \mid \boldsymbol{x})-\frac{1-y}{2} \log P(y=-1 \mid \boldsymbol{x})</script><p>这里的p就是表示：$p=P(y=1 \mid \boldsymbol{x})=\frac{1}{1+e^{-} f}=\frac{1}{1+e^{-\left(w^{T} x+b\right)}}$</p>
<p>那么损失函数的化简推导为：</p>
<p><img src="https://gitee.com/moluggg/image/raw/master/img/202007/16/195705-988910.png" alt="image-20200716195703984"></p>
<p>我们对上面的函数求梯度可以得到</p>
<script type="math/tex; mode=display">
\nabla_{x} J=\frac{e^{-y f}}{1+e^{-y f}}(-y) \boldsymbol{w}</script><p>因此通过FGSM得到的对抗样本为x~=x−ϵysign(wT)x~=x−ϵysign(wT)，对于对抗样本的损失函数，有：</p>
<p><img src="https://gitee.com/moluggg/image/raw/master/img/202007/16/201438-743061.png" alt="image-20200716200723230"></p>
<p>对于学到足够的置信度的模型来说，即−y(wTx+b)足够小时，ϵ||w||1几乎不起作用。而对于欠拟合的模型来说，则会使得模型更加欠拟合。（还是刚刚那个原因，高维情况下很小的扰动都会使得内积产生很大的变化，而对于L1范数的变化却是极小的，所以很容易就忽略了||w||1）。<br> 进一步的，作者基于FGSM生成的对抗样本提出了一个高效的对抗训练方法：</p>
<script type="math/tex; mode=display">
\tilde{J}(\boldsymbol{\theta}, \boldsymbol{x}, y)=\alpha J(\boldsymbol{\theta}, \boldsymbol{x}, y)+(1-\alpha) J\left(\boldsymbol{\theta}, \boldsymbol{x}+\epsilon \operatorname{sign}\left(\nabla_{x} J(\boldsymbol{\theta}, \boldsymbol{x}, y)\right)\right.</script><p>GCN代码：</p>
<p><a target="_blank" rel="noopener" href="https://github.com/tkipf/gcn">https://github.com/tkipf/gcn</a></p>
<h1 id="Node2vec，Deepwalk"><a href="#Node2vec，Deepwalk" class="headerlink" title="Node2vec，Deepwalk"></a>Node2vec，Deepwalk</h1><ul>
<li><p>[x] 随机游走：<strong>什么是随机游走？</strong></p>
</li>
<li><p>[x] word2wec-skipgram</p>
</li>
<li><p>[x] Deepwalk</p>
</li>
<li><p>[x] 什么是交叉熵  <a target="_blank" rel="noopener" href="https://blog.csdn.net/tsyccnh/article/details/79163834">https://blog.csdn.net/tsyccnh/article/details/79163834</a></p>
</li>
<li><p>[ ] node2vec  论文笔记之node2vec: Scalable Feature Learning for Networks - 简书<br> <a target="_blank" rel="noopener" href="https://www.jianshu.com/p/db60e37e1620">https://www.jianshu.com/p/db60e37e1620</a></p>
</li>
<li><p>[ ] 什么是softmax</p>
</li>
<li><p>[ ] [图的表示学习是什么，什么是embedding](<a target="_blank" rel="noopener" href="https://zhuanlan.zhihu.com/p/90783845">https://zhuanlan.zhihu.com/p/90783845</a></p>
<p><a target="_blank" rel="noopener" href="https://blog.csdn.net/weixin_42137700/article/details/89293801?utm_medium=distribute.pc_relevant_right.none-task-blog-BlogCommendFromBaidu-9.nonecase&amp;depth_1-utm_source=distribute.pc_relevant_right.none-task-blog-BlogCommendFromBaidu-9.nonecase">https://blog.csdn.net/weixin_42137700/article/details/89293801?utm_medium=distribute.pc_relevant_right.none-task-blog-BlogCommendFromBaidu-9.nonecase&amp;depth_1-utm_source=distribute.pc_relevant_right.none-task-blog-BlogCommendFromBaidu-9.nonecase</a>)</p>
</li>
</ul>

      
       <hr><span style="font-style: italic;color: gray;"> 转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 2572876783@qq.com </span>
    </div>
</article>


<p>
    <a  class="dashang" onclick="dashangToggle()">💰</a>
</p>






    
        <!-- MathJax配置，可通过单美元符号书写行内公式等 -->
<script type="text/x-mathjax-config">
    MathJax.Hub.Config({
    "HTML-CSS": {
        preferredFont: "TeX",
        availableFonts: ["STIX","TeX"],
        linebreaks: { automatic:true },
        EqnChunk: (MathJax.Hub.Browser.isMobile ? 10 : 50)
    },
    tex2jax: {
        inlineMath: [ ["$", "$"], ["\\(","\\)"] ],
        processEscapes: true,
        ignoreClass: "tex2jax_ignore|dno",
        skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code']
    },
    TeX: {
        equationNumbers: { autoNumber: "AMS" },
        noUndefined: { attributes: { mathcolor: "red", mathbackground: "#FFEEEE", mathsize: "90%" } },
        Macros: { href: "{}" }
    },
    messageStyle: "none"
    });
</script>
<!-- 给MathJax元素添加has-jax class -->
<script type="text/x-mathjax-config">
    MathJax.Hub.Queue(function() {
        var all = MathJax.Hub.getAllJax(), i;
        for(i=0; i < all.length; i += 1) {
            all[i].SourceElement().parentNode.className += ' has-jax';
        }
    });
</script>
<!-- 通过连接CDN加载MathJax的js代码 -->
<script type="text/javascript" async
        src="//cdn.jsdelivr.net/npm/mathjax@2.7.8/unpacked/MathJax.js?config=TeX-MML-AM_CHTML">
</script>
<input type="hidden" id="MathJax-js"
        value="//cdn.jsdelivr.net/npm/mathjax@2.7.8/unpacked/MathJax.js?config=TeX-MML-AM_CHTML">
</input>
    




    </div>
    <div class="copyright">
        <p class="footer-entry">
    ©2016-2020 MOLU
</p>
<p class="footer-entry">Built with <a href="https://hexo.io/" target="_blank">Hexo</a> and <a href="https://github.com/yelog/hexo-theme-3-hexo" target="_blank">3-hexo</a> theme</p>

    </div>
    <div class="full-toc">
        <button class="full" data-title="切换全屏 快捷键 s"><span class="min "></span></button>
<a class="" id="rocket" ></a>

    </div>
</div>

<div class="hide_box" onclick="dashangToggle()"></div>
<div class="shang_box">
    <a class="shang_close"  onclick="dashangToggle()">×</a>
    <div class="shang_tit">
        <p>Help us with donation</p>
    </div>
    <div class="shang_payimg">
        <div class="pay_img">
            <img src="/img/alipay.jpg" class="alipay" title="扫码支持">
            <img src="/img/weixin.jpg" class="weixin" title="扫码支持">
        </div>
    </div>
    <div class="shang_payselect">
        <span><label><input type="radio" name="pay" checked value="alipay">alipay</label></span><span><label><input type="radio" name="pay" value="weixin">weixin</label></span>
    </div>
</div>


</body>
<script src="/js/jquery.pjax.js?v=1.1.0" ></script>

<script src="/js/script.js?v=1.1.0" ></script>
<script>
    var img_resize = 'default';
    function initArticle() {
        /*渲染对应的表格样式*/
        
            $("#post .pjax table").addClass("green_title");
        

        /*渲染打赏样式*/
        
        $("input[name=pay]").on("click", function () {
            if($("input[name=pay]:checked").val()=="weixin"){
                $(".shang_box .shang_payimg .pay_img").addClass("weixin_img");
            } else {
                $(".shang_box .shang_payimg .pay_img").removeClass("weixin_img");
            }
        })
        

        /*高亮代码块行号*/
        

        /*访问数量*/
        
        $.getScript("//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js");
        

        /*代码高亮，行号对齐*/
        $('.pre-numbering').css('line-height',$('.has-numbering').css('line-height'));

        
        
    }

    /*打赏页面隐藏与展示*/
    
    function dashangToggle() {
        $(".shang_box").fadeToggle();
        $(".hide_box").fadeToggle();
    }
    

</script>

<!--加入行号的高亮代码块样式-->

<!--自定义样式设置-->
<style>
    
    
    .nav {
        width: 542px;
    }
    .nav.fullscreen {
        margin-left: -542px;
    }
    .nav-left {
        width: 120px;
    }
    
    
    @media screen and (max-width: 1468px) {
        .nav {
            width: 492px;
        }
        .nav.fullscreen {
            margin-left: -492px;
        }
        .nav-left {
            width: 100px;
        }
    }
    
    
    @media screen and (max-width: 1024px) {
        .nav {
            width: 492px;
            margin-left: -492px
        }
        .nav.fullscreen {
            margin-left: 0;
        }
    }
    
    @media screen and (max-width: 426px) {
        .nav {
            width: 100%;
        }
        .nav-left {
            width: 100%;
        }
    }
    
    
    .nav-right .title-list nav a .post-title, .nav-right .title-list #local-search-result a .post-title {
        color: #383636;
    }
    
    
    .nav-right .title-list nav a .post-date, .nav-right .title-list #local-search-result a .post-date {
        color: #5e5e5f;
    }
    
    
    .nav-right nav a.hover, #local-search-result a.hover{
        background-color: #e2e0e0;
    }
    
    

    /*列表样式*/
    

    /* 背景图样式 */
    
    


    /*引用块样式*/
    

    /*文章列表背景图*/
    

    
</style>







</html>
